パラダイムシフト：タスク特化型モデルからLLMへ

NLPの進化：分断されたAIから基盤モデルへ

分断されたAI：系列ラベリングや分類といった個別のタスク向けに設計された、個別の特化型ニューラルアーキテクチャによって特徴づけられる時代。
基盤モデル：すべての言語問題を生成的なテキストtoテキスト系列 $x \rightarrow y$ として扱う、統合されたモノリシックなTransformerアーキテクチャ。

アーキテクチャの統合： 従来、NLPにはオーダーメイドのパイプライン（NERにはBi-LSTM、感情分析にはCNN）が必要でした。LLMはこうしたサイロを単一のバックボーンに統合し、すべてのタスクで同じ重みが利用されます。
統合インターフェース： LLMは特化型の「出力ヘッド」（例：3クラスSoftmax）を自然言語インターフェースに置き換えます。入力と出力は常に文字列であり、モデルは意図ではなく形式を解釈できます。
知識転移： 従来のモデルはタスクごとに「白紙状態」でした。LLMは 汎化優先を重視し、個別タスクは既存の堅牢な言語内部表現の単なる応用にすぎません。

2018年以前： タスクの分離により、異なる損失関数 $\mathcal{L}_{task}$ を持つ別々のモデルを学習する必要がありました。
現代： 「テキストtoテキスト」パラダイムにより、単一のモデル（例：Llama-3）がゼロショットやフューショットのプロンプティングでタスクを切り替えられます。

Python実装の比較

ケーススタディ：2018年と現代の開発者

以下のシナリオを読み、質問に答えてください。

開発者は、ユーザー名を識別し（NER）、怒りを検出する（感情分析）チャットボットを構築する必要があります。従来のアプローチ（2つのモデル、2つの学習セット、2つのデプロイパイプライン）とLLMアプローチ（Llama-3のような1つのモデル、2つのシステムプロンプト）を比較してください。

問

1. 2つのアプローチ間のアーキテクチャ上のオーバーヘッドの主な違いは何ですか？

解答：
従来のアプローチでは複数の異なるモデルをメモリ上でホストし維持する必要がありますが、LLMアプローチでは両方のタスクを処理する単一のモノリシックモデルをホストするだけで済みます。

問

2. 新しいタスク（例：翻訳）を追加する際、データ要件はどのように異なりますか？

解答：
従来、翻訳を追加するには、新しいモデルをゼロから学習するための大規模な新しい対訳コーパスが必要でした。LLMでは、既存の知識を活用して、フューショットプロンプトやゼロショット指示だけで済む場合があります。

問

3. LLMアプローチでは、モデルはどのタスクを実行すべきかをどのように判断しますか？

解答：
推論時に提供される自然言語プロンプトを通じて判断します。これは、モデルの生成的出力を導く統合インターフェースとして機能します。